HN
Hacker News • 58일 전
IMP 8
토큰리스, 추론 비용 절반으로 깎아주는 AI 모델 라우터
와이콤비네이터(YC) S26 출신 스타트업 'Tokenless'는 AI API 호출 비용을 최대 절반으로 줄여주는 스마트 라우터를 선보였습니다. 여러 AI 모델에 요청을 동시에 보낸 뒤, 가장 먼저 만족스러운 답변을 내놓는 모델을 선택해 나머지는 취소하는 방식으로 작동하여 품질은 유지하면서 비용은 크게 절감합니다. 개발자는 기존 코드 단 두 줄만 수정해 OpenAI 및 Anthropic 호환 엔드포인트로 연결하면 즉시 적용할 수 있다는 장점이 있습니다.
비용 최적화 API 라우터 LLM